多模态语用学视域下的言语行为与情感因素：兼论在老年语言学中的应用

黄立鹤语言科学 2021-09-20

摘要：

长期以来，语用学理论及相关原则的构建基于交际双方的理性前提。然而，情感意义在言语交际中占有重要地位，且通过多模态资源进行建构与识解，表现在说话人的话语本体、韵律特征、体貌表现等方面。语用学的研究对象应是鲜活整人的言语交际，而不是抽象化的、理想化的说话人。本文倡导从言语行为这一语用学核心概念入手，借助多模态语言研究的具体操作手段，分析说话人的情感态度对其语言交际与含义推导的影响，实现在多模态语用学框架内对语言使用者进行关注的回归。同时，本文分析了失智症老年人在非言语行为、情感交流等方面的特征，指出该范式可为老年语言学中的语用交际研究提供新的视点。

关键词：

言语行为　情感　多模态　整人模型　老年语言学

一、引言

长期以来，语用学理论及相关原则的构建基于交际双方的理性前提。虽然各自的理性概念类型与内涵不同，但从经典格莱斯理论到新格莱斯语用学，再到博弈论、优选论观照下的语用学研究，理性主体假设是默认前提（姚晓东、秦亚勋2012），“主理抑情”的态势贯穿了语用理论发展的始终（冉永平2008）①。基于理性人（ rational actor model ）的各类语用推理模式，只关心信息交流，却忽略了情感因素在语言交际中的作用（姜望琪2014），在面向真实言语交际的分析时面临着困境（Kasper 2006）。

事实上，人类的情感与语言是共同演化的（Jablonka,Ginsburg＆Dor2012）。情感在真实的言语交际中占据重要地位，且通过多模态资源建构、识解，表现在说话人的话语本体、韵律特征、体貌表现等方面（Martin＆Deviller2009）。从个体发生学上说，婴幼儿通过表情、动作、哭喊声音等表达情感，是生活常识。幼儿自语言习得的单词阶段（single-word stage）起，就能通过各类语言结构表达情感；大多数用于表达积极或消极情感的语言形式都是在四岁之前习得的（Ochs1988:183）。人作为语言活动的主体，既有理性、追求目的，也有情感与个性表现，绝不是经过理想化的、只讲逻辑理性、刻板机械的生物体。因此，关注言语行为中情感因素的实质是试图超越语用学研究中逻辑哲学意味浓重、纯粹理性思辨的一种尝试。

语用交际活动中有意识、有目的的情感表达被称为“情感表达型交际”（emotive communication），语言学研究对这一现象的关注可追溯到Breal对语言中主观成分（subjective element）的论述（Breal 1991:249）。从广义上看，“情感”（或者称为“情感立场”）是对人物或事件情景的感受、心情、倾向、立场、评价或态度等（Ochs＆Schiefflin1989）。虽然研究情感与语言关系的研究颇有历史，但从语用学角度对情感表达型的语用功能进行的分析仍比较缺乏（宋成方2017）。现有的少量考察情感因素对语用交际的影响主要集中在以下几个方面：一是不同交际层面对情感的体现，如语用标记、韵律、话语等（Colamarco＆deMoraes2008；deMoraes＆Rilliard2014②；二是跨文化语用学视角下不同语言文化背景的交际者对情感的表现与感知及对交际的影响（Apresjan20132013；Beeman2017）；三是语用交际中情感与认知的互动关系及机制问题（Scherer2013；Moors et al.2013;刘瑾、段红2019）。另外，人际语用学（Inter personal Pragmatics）作为语用学中的新兴分支，也在其分析框架下尝试揭示交际者如何在情感表达型交际过程中建构各种关系。

从研究视角与方法上看，Ochs＆Schiefflin(1989)把情感的语言表达研究分为四种导向：布拉格功能视角、语调研究、戏剧与诗歌研究以及儿童语言发展；方梅、乐耀（2017:13-19）则将情感立场表达的研究范式概括为：互动语言学研究范式、社会语言学与人类语言学研究范式、语料库语言学研究范式、系统功能语言学研究范式。不管采用哪一种范式，目前国内多数研究是基于某一分析框架的定性研究，但随着语料库语言学方法的普及，呈现出基于鲜活语料的量化分析。例如，张永伟、顾曰国（2018）在情感与修辞互动研究理论框架下，基于大规模语料库对大众语言中的情感言语行为进行量化分析，从而探究大众的情感修辞特质。

部分国内学者已意识到了语用学研究中“主理抑情”的现实，但多从宏观回顾及理论推演的角度厘清事实（冉永平2008；姚晓东2016），虽有提出解决思路（姜望琪2014），但鲜有提出具体的操作框架。本文则尝试更进一步，将情感因素纳入具体的语用研究操作框架中：即首先分析情感因素与言语行为的关系，借此倡导从言语行为这一语用学核心概念入手，借助多模态语言研究的具体操作手段，关注情感因素在语用问题研究中的重要地位，分析说话人的情感态度对其语言交际与含义推导的影响，并利用该范式对一个失智症老年人语用交际案例进行了分析。

二、情感因素与言语行为的关系

在语用学中，Austin创立的言语行为（Speech Act）是经典研究课题，被视为语言交际的基本单位（Searle1969:21）。它也是语用学的核心关注点，围绕其发展出的各类视角和知识体系越来越丰富。有学者认为“言语行为”能够统摄语用学的各种范畴，“言语行为”是语用学的核心范畴（胡范铸2017）③。作为一个功能性单位，言语行为上接语篇、话语，下接词汇、句法，是研究人类互动交际中话语功能与句法结构的理想连接点（黄立鹤2017）。

情感具有意向性（intentionality），而意向性是言语行为最根本的东西，是其心智哲学基础（顾曰国2017）。从这个意义上说，情感通过意向性与言语行为密切相关。在现实中，人们既可以通过肢体动作（如表情变化等），也可以通过实施言语行为来表达情感（Alba-Juez＆Ｌarina2018:10）。

Austin（1962:40）指出，感受（feelings）是语力实现的必要条件。语力背后是何种情感直接关系到语力是否“圆满”（felicitous），某些语力类型的背后需要有特定的情感存在。 Austin（1962:14-15）在讨论六个圆满施事行为条件时指出：

……这个程序通常是设计给具有一定思想或情感的人使用……必须事实上具有这些思想和情感……

Austin（1962:25-52）在讨论施事行为的非圆满性（infinfelicity）时提到了两类情况④：misfire与abuse，分别指代：１）某些施事行为没有经过特定程序、特定交际者和在特定情境中表达特定话语；２）说话人没有与施事行为相应的情感、思想态度（或信念）和意图等。其中，是否出现特定情感是影响相应施事行为是否具备圆满性的必要条件。因此，如果不具备特定的情感，则说话人在现场即席话语中表达的具体语力实例就可能并不“圆满”，如表达一个“祝贺”语力实例时说话人没有相应的“高兴”情感。

根据Gu（2013）的分类，情感可分为背景情感、基本情感、社会情感。其中背景情感是当下情感不可或缺的，另外两层（基本情感和社会情感）则可能同时相随，或仅一层相随（张永伟、顾曰国2018）。但无论如何，现场即席言语行为总是伴随着当下情感。

从情感与言语行为的关系上看，基本有三种类型⑤：

(1)情感作为言语行为的伴随状态（Speech acts embodied with emotional states）

如“我得客客气气地请他们吃饭”，施事行为／语力是“请吃饭”，其情感状态是恭敬、愉悦等。此时伴随言语行为的情感状态通过说话人的词汇、韵律、体貌等综合推断，如高语阶、快语速的韵律特征通常表明说话人兴奋或激动的情感；表达“诉苦”时皱眉、垂头、抹眼泪等体貌表现推测出说话人悲伤、痛苦的情感等。

(2)言语行为自身是情感表达（Speech acts as ａｓemotional expressive）

这个类型又称为情感实施，是指使用情感词直接做表达情感的言语行为（张永伟、顾曰国2018）。其构式是：我＋施事动词（＋其他成分）⑥。如“你考上名校了，我很高兴”，“高兴”既是情感又是施事行为／语力。有时汉语语序更为灵活，会略有调整。这些构式包括：我＋觉得＋情感词、我＋情感词＋情感结果、我＋表示＋情感词、我＋情感触发项＋感＋情感词、我＋情感词＋同步行为＋情感触发项、我＋情感触发项＋怀着＋情感词、情感触发项＋我＋感＋情感词等（详见张永伟、顾曰国2018）。

(3)情感报道作为一种言语行为（Emotion report as speech acts）

情感报道是指用情感词报道“我”或“我们”之外的情感状态，是说话人对他者情感状态的观察与推理（张永伟、顾曰国2018）。例如，“他闺女考上名校了，我看他高兴得很”就属于这一类。其他构式还包括：情感触发项＋让＋对象＋情感词、情感触发项＋对象＋情感词＋其他成分、对象＋情感词＋其他成分、对象＋情感词、对象＋的＋情感词、对象＋不／无＋情感词、情感触发项＋对象＋情感词等（张永伟、顾曰国2018）。

总之，无论是情感作为说话人实施言语行为的伴随状态出现，还是作为说话人实施言语行为的对象，抑或是情感报道作为一种言语行为，情感状态可以通过言语行为的多个层面加以体现。

三、情感在言语行为中不同界面的体现

在人们的言语交际中，除了句法词汇层面，体貌表现、语音语调等均可表现说话人的情感状态。在口语会话系统等人机交互的相关研究中，从多模态信息综合辨识说话人情感已成共识（Johar2016:25-29）。

下图表示情感状态在言语行为中的语言结构、韵律特征、体貌表现等层面的体现：

3.1情感在言语行为中句法词汇层面的体现

情感在词汇层面的直接体现就是情感词。在汉语中，情感词广泛分布在名词、动词和形容词等词类中。这涉及词汇语义研究范畴，此处不予展开。情感对句法的影响，主要体现在说话人实施言语行为时对句式的选择。前文讨论的情感与言语行为关系的三种类型，便是例证。一些学者对情感在汉语结构形式中的规约化表达进行了深入探讨（方梅2017；方梅、乐耀2017）。

当然，说话人如何选择言语行为的句法形式，还涉及修辞问题。在说话人确定语力类型后，就可以调用各种表达手段，包括不同的话语形式（当然还包括韵律特征、体貌表现等）来实施施事行为，这就属于表达修辞层面的问题（黄立鹤2018）。

3.2情感在言语行为中韵律特征层面的体现

韵律在言语行为的实施中具有重要作用。关于情感在韵律上的体现，早在中国古代，包括儒家经典《礼记》在内的诸多文献就有记载（Santangelo 2003；Yao＆Tu2011；蒙培元1998，2002）。《礼记·乐记》中说，“是故其哀心感者，其声噍以杀；其乐心感者，其声啴以缓；其喜心感者，其声发以散；其怒心感者，其声粗以厉；其敬心感者，其声直以廉；其爱心感者，其声和以柔。六者，非性也，感于物而后动。”说明古人已观察到，人们的不同情感可以通过不同的韵律特征加以表现。

对情感表达起重要作用的声学参数是基频。基频最大值、最小值、均值、基频域等特征直接体现了情感的表达方式。时长是另一个重要的声学特征，句子时长的增加或缩短，重音音节时长的变化等都是情感表达的重要方式。大多数学者在研究情感对语音的影响时，主要关注语调。Bolinger（1989）论述了英语语调与情感的联系，提出了当时争论极大的观点：提高音高表示某种情感的融入，降低音高则表示情感的退出。赵元任先生区分了三个方面对语调进行讨论：一是单字的声调，二是中性语调，三是口气（表情）语调。口气语调有两种情况：一种是逻辑性的口气，没有特殊感情因素的影响；而另一种则是带有感情色彩的语调。吴洁敏、朱磊（2010）把感情语调分为高昂型和低沉型两大类，并且分别分析了各自的韵律特征；中国社科院语言研究所语音室在情感语调方面做了大量研究，对比分析了多种情感句的韵律模式以及中性句的韵律模式。

3.3情感在言语行为中体貌动作层面的体现

人们表达情感的方式是多种多样的，除了言语之外，还能通过包括神态、表情、手势、身势等体貌动作表达情感。有时，体貌动作比起其他方式（如言语等）更能表达说话人的情感状态（Allwood2002）。

脸部表情与情感之间的紧密关系是学者们探讨的最多的话题，历来被认为是研究情感的重要线索，自Darwin（1872）认为人们情感具有普遍性的脸部表情是与生俱来的观点开始，前贤时哲对情感表情的普遍性与文化特异性进行了长时间的讨论。Paul Ekman的一系列研究当属此领域的重要代表（Ekman1972：212），他提出的“神经文化理论”（Neurocultural Theory）认为决定脸部表情主要有两个因素：神经生物因素及社会文化因素，人们的表情既有神经生物的普遍性（这些表情与普遍存在于人类中的基本情感紧密相连），同时也因文化差异而不同。国内中科院自动化所的陶建华、谭铁牛（2004）对姿态和情绪的关系进行了研究，认为人的姿态一般伴随着交互过程而发生变化，它们表达着一些信息。例如手势的加强通常反映一种强调的心态，身体某一部位不停地摆动，则通常具有情绪紧张的倾向。目前，随着多模态语料库的发展，形成了对体貌进行标注的诸多方案，基于多模态语料的体貌与韵律、情感等之间的互动关系研究也持续开展（Martin＆Deviller2009；Wagner,Malisz＆Kopp2014）。

四、情感因素与多模态语用学分析

将情感维度引入语用学分析，需要一套统领说话人情感与言语各种关系的原则。多模态语用学的相关分析借用的是“言思情貌整一原则”（顾曰国2013）。

该原则的建立目的在于分析者能够“执一统众”，即面对现实言语交际中的各种或遵守或背离言、思、情、貌整一的情况，分析者能够得到整一的言外之意的诠释。换言之，该原则应该视为多模态语用学研究中一条重要的会话含义推理机制（顾曰国2013）。当说话人的言、思、情、貌完全整一时，即其情真意切，此时可视为默认的“一”，而各种模态资源（话语、韵律、表情、体貌等）与其他发生匹配错位时，产生各种场景中的“众”。听话人和分析者可依据该推理机制研判说话人的真实意图。

对比格莱斯会话原则，可发现言思情貌整一原则与之异同：格莱斯的会话原则是基于“理性人假说”之上的，而言思情貌整一原则是建立在鲜活的、完整的人基础上的；语用学的“理性人假说”意味着加入谈话双方有共同目的，如最大程度上与对方交流信息，双方要理性地与对方合作。而“鲜活整人假说”告诉我们：在现场即席话语中，一旦说话人违背言思情貌整一原则，听话人就会做出超出常规的诠释，生成言外之意，产生新的语用意义（顾曰国2013）。这样的思路拓展了言外之意的语用推论研究视野（黄立鹤2018），这也是多模态语用学的用武之地。

由此可见，语用学研究关注的应是情理兼备、声情并茂、体貌丰富的鲜活整人所进行的言语交际活动，而不是抽象化的、理想化的说话人。本文提议借助多模态语言研究的具体操作手段，关注情感因素在其中的重要地位，分析说话人的情感态度对其语言交际与含义推导的影响，实现在多模态语用学框架内对语言使用者关注的回归。

在多模态语用学的框架下，语用学的诸多经典课题及传统理论都可以在纳入说话人情感评价意义后得以重新考察、创新拓展，通过语用学研究中情感维度的拓展，实现对总体社会交际特征进行理性思辨以及对个体言语交际进行精细分析并重的语用研究新趋势，充分体现语言使用研究的人文属性，而多模态研究方法可以为这种新的研究趋势提供有力的解决方案。如下图：

情感是贯穿人类整个生命历程言语交际的重要因素。人类出生后的数月，婴儿便通过多模态手段表达情感，实现一定程度上的交际。情感因素在临床语用学中的加入，对特殊人群的言语交际进行情感分析，为解释情感交际或非理性交际互动提供了可能。已有一些研究考察了特殊人群语用交际中语言、动作及情感的关系，例如儿童的语用能力与情感障碍（St Clair et al.2011）、失语症患者语用交际中的情感表达与手势动作关系（Lorch，Borod＆Koff1998）等。

虽然目前研究者对老龄化对情感感知是否有影响仍有争议，但情感是影响老年人言语交际的重要因素，与日常认知活动、个人经历等因素密切相关（Kunzman＆Richter2009）。这里，我们探讨在多模态语用学框架内，将情感因素引入老年语言学（Geronto-linguistics）（黄立鹤2019）研究，对老年人在语言蚀失过程中语用交际现象进行分析。

研究罹患阿尔茨海默症老年人的言语是临床语用学（Clinical Pragmatics）的重要课题。在临床语用学的研究对象中，在神经退行性疾病影响下而认知功能受损的情况下，单纯运用基于说话人理性前提的语用分析无法关照阿尔茨海默症患者的言语交际过程。正如Perkins(2007:8)指出的那样，当把现有语用学理论运用到临床环境时，就会发现现有理论无法完全适用于语用能力损伤等方面的例子。

总之，在多模态语用学框架内，整合多种言语交际过程中呈现的资源，分析临床中语言能力受损的研究对象话语，是较为理想的框架。情感因素与鲜活整人模型的引入，为失智症老年人的语用交际研究提供了新的视点。

老年人情感特点包括消极情绪情感增多、情感体验强度和持久性增大、情感不稳定、表达方式内敛含蓄等，这些使老年人的语用交际具有独特性；而罹患阿尔茨海默症的老年人会出现易激怒、悲观消极、情感反应减弱等情况。结合言语行为看，伴随的即席情出现较为突然、迅速；情感表达类的言语行为减少。

目前，笔者正在构建“现代汉语现场即席话语多模态语料库（SCCSD）老龄化与语言子库”。这里，我们选取一个案例尝试在多模态语用学框架下对阿尔茨海默症患者进行言语行为分析，分析对象是一位８９岁中度阿尔茨海默症的老年患者。

黄立鹤（2018）详细阐述了一个面向现场即席话语言语行为的发现程序及标注体系。按照该标注体系，可对上述语料在Elan中进行标注。限于篇幅，此处无法对该语料中一系列言语行为进行完整的分析。但明显的是，该老年人多次呈现了同一个言语行为，即“我是在生产队当队长的，是种地能手”。通过多模态特征的提取与标注，特别是该老年人的体貌表现（注视、微笑、左手指示等）、韵律特征，可以推断该言语行为伴随的述说情感（reportede motion ，或称记忆情感⑧）是“积极自豪”。说话人的情感、话语内容（称赞自己是种地能手）、韵律、体貌具有整一性。因此，我们可以提出假设：积极、正面的述说情感与阿尔茨海默症患者反复实施同一个言语行为具有高相关性，这一点我们在其他的语料中也得到了验证。当然，今后可基于多模态语料库（Huang 2018）方法对该假设进行定量统计。

另外，失智症老年人因认知损害而产生的情感、态度异常，使得该类人群的语用交际特征具有特殊性。语用能力的蚀失，往往是其中一个或多个系统因素受到损伤，导致相互作用的失衡，语用障碍随之“浮现”。而当这种障碍出现时，大脑认知就会根据交际需要进行“补偿性调整（compensatory adaptation）”，Perkins（2007）认为这种补偿性调整分为个体内部（intrapersonal)的语用补偿和人际层面（interpersonal)的语用补偿两个层面。

在个体内部，当语音符号系统受损导致交际障碍时，个体往往会通过句法、韵律等方式补偿调整以达成话语的语用目的；当语言符号系统受损导致交际障碍时，个体又会结合自己的表情、眼神、手势等行为以完成交际行为。例如，研究发现失语症患者在自然会话中手势动作数量高于控制组（Feyereisen ＆Seron1982），特别是在情感状态的表达上（Lorch,Borod＆Koff1998），有学者认为这是失语症患者保持完整社交能力的一种尝试（Feyereisen ＆Seron1982）。

因此，只有引入情感因素、基于多模态语用学的分析框架内，可对失智症老年人“补偿性调整”后的语用交际进行描写与阐释。在人际层面，因有些患者可能会同时出现语言系统与认知系统的同时受损，出现找词困难、话语缺损、认知理解困难等现象，但是通过交际对方适应患者话语特征，给出便于患者理解的交际话语，仍可使得患者完成诸如话轮转换等行为。

五、结语

从理性人模型到鲜活整人模型，体现了理性与情感这两个因素在语用学中的不同张力。本文倡导关注情感因素对分析说话人语言交际与含义推导的影响，认为应当在多模态语用学的框架内，回归到对语言使用者声情并茂、体貌丰富的鲜活、完整的语用意义上。这对长期以来基于纯粹理性主义范式的语用学理论构建是一种重要的补充。正如Ludtke(2015)所说的那样，语言学研究考虑情感因素、呈现“情感转向”才是面向“完整的语言”（the wholeness of language）的研究。与此同时，本文所倡导范式的建立，还有助于为失智症患者话语分析等临床语用学的建设提供一些新的视角。

作者简介

黄立鹤：博士、同济大学英语系副教授，主要从事多模态语用学、老龄化与老年语言学研究，包括基于多模态数据的神经退行性疾病及精神障碍人群的言语行为表现、临床筛查与诊断的语言标志物提取、语言认知康复研究；同时开展外语教育、语法化研究等。

本文来源：《当代修辞学》，感谢黄立鹤老师的支持。更多《当代修辞学》内容，欢迎点击阅读原文查看。

（本文全文）

延伸阅读